Рынок заведений общественного питания Москвы¶

data = pd.read_csv('/datasets/moscow_places.csv')
data

#Исключаем дублирование из-за написания названий в разных регистрах
print('В исходных данных представлено {} заведений.'.format(data['name'].str.lower().nunique())) 

print('Типы данных')
data.info()

print('Число полных строк - точных дубликатов: {}'.format( data.duplicated().sum()))

data_l = data.copy()
object_columns = data_l.select_dtypes('object').columns.tolist() #Учитываем только тип object
for column in object_columns:
    data_l[column] = data_l[column].str.lower()
display(data_l.head())
print('Число полных строк - дубликатов c приведением к нижнему регистру: {}'.format( data_l.duplicated().sum()))

print('Число строк - дубликатов по столбцам name и address c приведением к нижнему регистру: {}'
      .format( data_l.duplicated(['name', 'address'])
      .sum()))

data_l[data_l.duplicated(['name', 'address'], keep = False)]

dupl_names = data_l[data_l.duplicated(['name', 'address'], keep = False)]['name'].unique()
list(dupl_names)

data_l[data_l['name'].isin(['more poke', 'раковарня клешни и хвосты', 'хлеб да выпечка'])].sort_values(by='name')

#Удаляем в датасете со строчными буквами в текстовых значениях
print('Исходное количество записей:', len(data_l))
data_l = data_l.drop(index=to_del)
print('Итоговое количество записей:', len(data_l))

#Удаляем дубликаты в исходном датасете
print('Исходное количество записей:', len(data))
data = data.drop(index=to_del)
print('Итоговое количество записей:', len(data))

data_l.isna().sum()

data['hours'] = data['hours'].fillna('нет данных')
data.isna().sum()

pattern = ',[0-9А-Яа-яЁё -]*' #Для поиска фрагмента текста после первой запятой до следующей, если она есть
data['street'] = data['address'].map(
    lambda x:  re.search(pattern, x).group().strip(', ') )#у выделенного образца удаляем ненужные символы
display(data[['address', 'street']].head())

data['st_name_len'] =data['street'].map(lambda x: len(x)) #добавляем столбец с длиной строки названия улицы
#проверяем отсутствие заполнения названия улицы
display(data.query('st_name_len < 1')[['address', 'street', 'st_name_len']].sort_values(by=['st_name_len','street']))
data.drop('st_name_len', axis= 1 , inplace= True ) #удаляем столбец с длиной строки названия улицы

data['is_24_7'] = data['hours'].map(lambda x: True if 'ежедневно, круглосуточно' in x else False)
display(data[['hours','is_24_7']])
print(data['is_24_7'].value_counts());

data.head()

cats = pd.DataFrame(data.category.value_counts()).reset_index()
cats.columns = ['categories','amount']
cats

print('В данных присутствуют следующие типы заведений: {}'.format(cats['categories'].unique()))

sns.set_palette("pastel")
f, ax = plt.subplots(figsize=(5, 5))
hbars = ax.barh(cats['categories'], cats['amount'], label = cats['amount'], align='center')
ax.invert_yaxis()
ax.bar_label(hbars, padding=5,  
             fontsize=12, label_type='edge' 
            )
ax.spines[['right', 'top']].set_visible(False)
ax.set_xlabel('Количество')
ax.set_ylabel('Типы заведений')
ax.set_title('Количество заведений по категориям', fontweight = 'bold')
plt.show();

sns.set_theme(style="whitegrid", font_scale= 1.1)
fig, ax = plt.subplots(figsize=(15, 10))

vplot = sns.stripplot(x='seats', y='category',
               data=data_to_plot,  ax = ax,   dodge=True, hue = 'chain', palette='tab10', size=5, marker="o", alpha=.15)

sns.boxplot(x='seats', y='category',
               data=data_to_plot, palette='tab10', ax = ax,  hue = 'chain', fill = False, gap=.1, linewidth=3)

ax.set_xlabel("Количество посадочных мест", fontsize=14)
vplot.legend(title = "Принадлежность заведения сети", title_fontsize = 14, fontsize = 12, shadow = True, facecolor = 'white')
ax.set_ylabel("Типы заведений", fontsize=14)
ax.set_title("Количество посадочных мест по типам заведений", fontsize=16, fontweight = 'bold')
sns.despine(top=True)
plt.show()

for chain_type in ['Сеть', 'Не сеть']:
    index_sorted = data_to_plot.query('chain == @chain_type').groupby('category')['seats'].median().sort_values(ascending = False).index
    index_sorted

    sns.set_theme(style="whitegrid", font_scale= 1.1)
    fig, ax = plt.subplots(figsize=(10, 8))

    ax.set_xlim(0, 400)

    vplot = sns.stripplot(x='seats', y='category',
                   data=data_to_plot,  ax = ax,   dodge=True, hue = 'chain',
                          palette='tab10', size=5, marker="o", alpha=.15, order = index_sorted)

    sns.boxplot(x='seats', y='category',
                   data=data_to_plot, palette='tab10', ax = ax,  hue = 'chain',
                fill = False, gap=.1, linewidth=3, order = index_sorted)

    ax.set_xlabel("Количество посадочных мест", fontsize=14)
    vplot.legend(title = "Принадлежность сети", title_fontsize = 14, fontsize = 12, shadow = True, facecolor = 'white')
    ax.set_ylabel("Типы заведений", fontsize=14)
    ax.set_title("Количество посадочных мест по типам заведений c сортировкой медиан для типа '"+ chain_type+"'",
                 fontsize=16, fontweight = 'bold')
    sns.despine(top=True, right=True)
    plt.show()
    print('Типы заведений по убыванию медианных значений посадочных мест:', list(index_sorted))

sns.set_palette("pastel")
patches, texts, autotexts = plt.pie(data.chain.value_counts(normalize=True)*100,
       labels = ['Не сетевые', 'Сетевые'], labeldistance=1.2,
       autopct='%.0f%%', textprops={'fontsize': 18})
plt.title("Соотношение количества типов заведений", fontsize = 18, fontweight = 'bold')

for autotext in autotexts:
    autotext.set_color('b')
    autotext.set_fontsize(20)
    autotext.set_fontweight('bold')

plt.show()

chain_percent=data_to_plot.groupby('category')['chain'].value_counts(normalize=True).reset_index(name='percent')
chain_percent['percent'] = chain_percent['percent'] *100
chain_percent

cat_sorted1 = list(chain_percent.query('chain == "Сеть"').sort_values(by='percent',ascending=False)['category'])
print('Категории по убыванию доли сетевых заведений:', cat_sorted1)

fig, axs = plt.subplots(ncols=2, figsize=(15, 6),  sharey=True) #Два графика на одной оси
sns.set_palette('pastel')

#Диаграмма с долями в процентах
sns.barplot(y='category', x='percent', hue='chain', data=chain_percent, 
            orient='h', ax=axs[0], palette='pastel', legend=False,
            order = cat_sorted1) #Сортируем по предыдущему списку)
for container in axs[0].containers:
    axs[0].bar_label(container, fmt='%.1f%%')

axs[0].set_xlabel("Доли сетевых типов по количеству, %", fontsize=14)
axs[0].set_ylabel("Категории", fontsize=14)
axs[0].set_title("Доли типов 'сеть/не сеть' по категориям",
                 fontsize=16, fontweight = 'bold')

#Диаграмма с абсолютными значениями
g2 = sns.countplot(y='category', hue='chain', data=data_to_plot, ax=axs[1]) 

for container in axs[1].containers:
    axs[1].bar_label(container)

axs[1].set_xlabel("Количество заведений", fontsize=14)
axs[1].set_title("Количество заведений по категориям",
                 fontsize=16, fontweight = 'bold')
    
g2.legend(title = "Принадлежность сети", title_fontsize = 14, fontsize = 12, shadow = True, facecolor = 'white')
    
sns.despine(top=True, right=True)    

fig.tight_layout()    

pop_chains = data.query('chain == 1').groupby(['name','category'])['address'].agg('count')\
    .sort_values(ascending=False).reset_index(name='count').head(15)
display(pop_chains)
print('Топ15 сетей:', pop_chains.name.to_list())

print ('Категории по убыванию частотности для наиболее распространенных сетей:', pop_chains.groupby('category').name.agg('count').sort_values(ascending=False))

pop_chains.name = pop_chains.name + ' (' + pop_chains.category + ')'
pop_chains.drop('category', axis= 1 , inplace= True )
pop_chains

fig, ax = plt.subplots(figsize=(6, 8))
sns.barplot(y='name', x='count', data=pop_chains, 
            orient='h', palette='crest_r', hue='name', legend=False)
for container in ax.containers:
    ax.bar_label(container)
    
ax.set_xlabel("Количество точек", fontsize=14)
ax.set_ylabel("Сети", fontsize=14)
ax.set_title("Количество точек по топ15 сетевых заведений",
                 fontsize=16, fontweight = 'bold')
sns.despine(top=True, right=True)
fig.show()

df2 = data.groupby(['district', 'category'])['name'].agg('count').reset_index()
df2['district'] = df2['district'].str.replace('административный округ','АО') #Сокращаем текст для удобства визуализации
df2

df2_1 = df2.groupby('district')['name'].agg('sum').sort_values()
print('Количество заведений по районам\n', df2_1)

fig = px.bar(df2, y="district", x="name", color="category",  orientation='h', text_auto=True)
#Добавляем сумманые данные по районам в целом
fig.add_trace(go.Scatter(mode='text', orientation='h',
                         #Привязываемся к списку районов
                         y=df2.groupby('district')['name'].agg('sum').index.tolist(),
                         #Выводим текст правее графических колонок
                         x=df2.groupby('district')['name'].agg('sum').map(lambda x: x+100).tolist(),
                         text=['Всего: '+ str(x) for x in df2.groupby('district')['name'].agg('sum').tolist()],
                         textposition='middle right',
                         textfont=dict(size=14),
                         showlegend=False
                        ))

fig.update_yaxes(tickangle=-45, categoryorder= 'array', categoryarray = df2_1.index) #Применяем сортировку
fig.update_xaxes(range=[0, 2700])
fig.update_layout(legend=dict(orientation="h", title = 'Категории', y=-0.15),
                  title=dict(text="<b>Типы категорий заведений по округам Москвы</b>", font=dict(size=16)),
                  xaxis_title="Количество заведений",
                  yaxis_title="Районы")

fig.show()

print("Минимальное и максимальное значения рейтингов:",data_to_plot['rating'].min(), data_to_plot['rating'].max())

print('Распределение средних рейтингов по категориям заведений')
cat_rating = data_to_plot.groupby(['category','chain'])['rating'].agg(['mean','median']).reset_index()
cat_rating

cat_sorted1 = list(cat_rating.query('chain == "Не сеть"').sort_values(by='mean',ascending=False)['category'])
print('Категории по убыванию доли сетевых заведений:', cat_sorted1)

sns.set_palette('pastel')
fig, ax = plt.subplots(figsize=(10, 8))
p = sns.barplot(y='category', x= 'mean' , data=cat_rating, order = cat_sorted1,
            orient='h', hue='chain', legend=True)
ax.set_xlim(4, 4.42)

for container in ax.containers:
    ax.bar_label(container, fmt='%.3f')
    
sns.despine(right=True, top = True)
plt.legend(loc='lower right')
ax.set_xlabel("Среднее арифметическое рейтингов", fontsize=14)
ax.set_ylabel("Категории", fontsize=14)
ax.set_title("Распределение средних рейтингов по категориям заведений",
                 fontsize=16, fontweight = 'bold')

fig.show()

cat_rating_s = data_to_plot.groupby('district')['rating'].agg('mean').reset_index().sort_values(by='rating', ascending=False)
display(cat_rating_s)

with open('/datasets/admin_level_geomap.geojson', 'r') as f:
    geo_json = json.load(f)

# загружаем JSON-файл с границами округов Москвы
state_geo = '/datasets/admin_level_geomap.geojson'
# moscow_lat - широта центра Москвы, moscow_lng - долгота центра Москвы
moscow_lat, moscow_lng = 55.751244, 37.618423

# создаём карту Москвы
m = Map(location=[moscow_lat, moscow_lng], zoom_start=9.3, tiles='Cartodb Positron',
       width=500,height=500)

# создаём хороплет с помощью конструктора Choropleth и добавляем его на карту
Choropleth(
    geo_data=state_geo,
    data=cat_rating_s,
    columns=['district', 'rating'],
    key_on='feature.name',
    fill_color='YlGn',
    fill_opacity=0.8,
    legend_name='Средний рейтинг заведений по районам',
).add_to(m)

# выводим карту
m

print('Перечень административных округов по убыванию рейтинга:',
      cat_rating_s.district.str.replace('административный округ','АО').to_list())

# создаём карту Москвы
m = Map(location=[moscow_lat, moscow_lng], zoom_start=9.3, tiles='Cartodb Positron',
       width=1000,height=400)
# создаём пустой кластер, добавляем его на карту
marker_cluster = MarkerCluster().add_to(m)

# пишем функцию, которая принимает строку датафрейма,
# создаёт маркер в текущей точке и добавляет его в кластер marker_cluster
def create_clusters(row):
    Marker(
        [row['lat'], row['lng']],
        popup=f"{row['name']} {row['rating']}",
    ).add_to(marker_cluster)

# применяем функцию create_clusters() к каждой строке датафрейма
data.apply(create_clusters, axis=1)

# выводим карту
m

top15_str_amnt = data.groupby('street')['name'].agg('count').sort_values(ascending=False).head(15)
print('Топ-15 улиц и количество заведений')
display(top15_str_amnt)
print('Список улиц по убыванию количества заведений:', top15_str_amnt.index.to_list())

top15_str_df = data.query('street in @top15_str_amnt.index') #Датасет только по 15 выбранным улицам
#Группировка по улицам и категориям с количеством заведений
df3 = top15_str_df.groupby(['street', 'category'])['name'].agg('count').reset_index() 
display(df3.head())
#Группировка только по улицам с количеством заведений
df3_1 = top15_str_df.groupby('street')['name'].agg('count').reset_index().sort_values(by='name')
display(df3_1)

fig = px.bar(df3, y="street", x="name", color="category",  orientation='h', text_auto=True, width=900, height=600)
#Добавление подписей для улиц целиком
fig.add_trace(go.Scatter(mode='text', orientation='h',
                         y=df3.groupby('street')['name'].agg('sum').index.tolist(),
                         #Определение позиций текста с итоговыми по улице данными 
                         x=df3.groupby('street')['name'].agg('sum').map(lambda x: x+5).tolist(),
                         text=['Всего: '+ str(x) for x in df3.groupby('street')['name'].agg('sum').tolist()],
                         textposition='middle right',
                         textfont=dict(size=14),
                         showlegend=False
                        ))
#Располагаем улицы в отсортированном порядке по количеству заведений
fig.update_yaxes(tickangle=-45, categoryorder= 'array', categoryarray = df3_1.street)
fig.update_xaxes(range=[0, 210])

fig.update_layout(legend=dict(
                    orientation="h",
                    yanchor="top",
                    y=-0.15,
                    xanchor="left",
                    x=0
                    ),
            title=dict(text="<b>Типы категорий заведений по районам Москвы</b>", font=dict(size=16)),
            xaxis_title="Количество заведений",
            yaxis_title="Районы"
                 )


fig.update_layout(legend=dict(orientation="h", title = 'Категории', y=-0.15),
                  title=dict(text="<b>Количество заведений по топ-15 улиц Москвы</b>", font=dict(size=16)),
                  xaxis_title="Количество заведений",
                  yaxis_title="Улицы")


fig.show()

one_obj_str = data.groupby('street')['name'].agg('count').sort_values(ascending=True)\
                .reset_index().query('name==1').street.to_list()
print('Количеcтво улиц только с одним заведением питания:', len(one_obj_str))
one_obj_df = data.query('street in @one_obj_str')
display(one_obj_df.columns)
col_disp1 = ['category', 'district']

col_disp_circ = ['chain', 'is_24_7']

col_disp2 = ['rating', 'price', 'middle_avg_bill', 'middle_coffee_cup', 'seats']

for c in col_disp1:
    df_temp = one_obj_df[c].value_counts().reset_index() 
    f, ax = plt.subplots(figsize=(5, 5))
    hbars = ax.barh(df_temp['index'].str.replace('административный округ','АО'), df_temp[c], label = df_temp[c], align='center')
    ax.invert_yaxis()
    ax.bar_label(hbars, padding=5,  
             fontsize=12, label_type='edge' 
            )
    ax.spines[['right', 'top']].set_visible(False)
    ax.set_xlabel('Количество')
    ax.set_ylabel(c)
    ax.set_title('Улицы с 1 точкой по '+ c, fontweight = 'bold')
    plt.show();


for c in col_disp_circ:
    df_temp = one_obj_df[c].value_counts(normalize=True)*100
    patches, texts, autotexts = plt.pie(df_temp,
    labels = [c+' - нет', c+' - да'], labeldistance=1.2,
    autopct='%.0f%%', textprops={'fontsize': 18})
    plt.title('Улицы с 1 точкой по '+ c, fontsize = 18, fontweight = 'bold')

    for autotext in autotexts:
        autotext.set_color('b')
        autotext.set_fontsize(20)
        autotext.set_fontweight('bold')
    plt.show()
    
for c in col_disp2:
    x=one_obj_df[c].hist()
    plt.title('Гистрогамма для '+ c)
    plt.show();

dist_avg_bill = data.groupby('district')['middle_avg_bill'].agg('median').reset_index().sort_values(by='middle_avg_bill', ascending=False)
dist_avg_bill

with open('/datasets/admin_level_geomap.geojson', 'r') as f:
    geo_json = json.load(f)

# загружаем JSON-файл с границами округов Москвы
state_geo = '/datasets/admin_level_geomap.geojson'
# moscow_lat - широта центра Москвы, moscow_lng - долгота центра Москвы
moscow_lat, moscow_lng = 55.751244, 37.618423

# создаём карту Москвы
m = Map(location=[moscow_lat, moscow_lng], zoom_start=9.3, tiles='Cartodb Positron',
       width=500,height=500)

# создаём хороплет с помощью конструктора Choropleth и добавляем его на карту
Choropleth(
    geo_data=state_geo,
    data=dist_avg_bill,
    columns=['district', 'middle_avg_bill'],
    key_on='feature.name',
    fill_color='YlOrBr',
    fill_opacity=0.8,
    legend_name='Средний чек заведений по округам',
).add_to(m)

# выводим карту
m

data['center_dist'] = data.apply(
    lambda x: np.linalg.norm( np.array((moscow_lat, moscow_lng))-np.array((x['lat'],x['lng']))),
    axis = 1
    )
data[['name', 'center_dist']].head()

sns.set_palette('tab10')
fig, ax = plt.subplots(figsize=(8, 8))
ax.set_ylim(0, 3500)

sns.boxplot(data=data, x='center_dist', y='middle_avg_bill', fill = False, linewidth=3)
ax.set_xlabel("Условное расстояние до центра (центр и 5 зон удаления)", fontsize=14)
ax.set_ylabel("Средний чек", fontsize=14)
ax.set_title("Зависимость среднего чека от расстояния до центра", fontsize=16, fontweight = 'bold')
sns.despine(top=True)
plt.show()

fig.show()

coff_df = data.query('category == "кофейня"')
print('Всего в датасете {} кофеен'.format(len(coff_df)))

pts_per_distr = coff_df.groupby('district')['name'].agg('count').reset_index().sort_values(by='name' ,ascending=False)
pts_per_distr

df_temp = pts_per_distr.copy()
df_temp.district = df_temp.district.str.replace('административный округ','АО')

fig, ax = plt.subplots(figsize=(6, 6))
sns.barplot(y='district', x='name', data=df_temp, 
            orient='h', palette='crest_r', hue='district', legend=False)
for container in ax.containers:
    ax.bar_label(container)
    
ax.set_xlabel("Количество точек", fontsize=14)
ax.set_ylabel("Районы", fontsize=14)
ax.set_title("Количество кофеен по районам",
                 fontsize=16, fontweight = 'bold')
sns.despine(top=True, right=True)
fig.show()

# создаём карту Москвы
m = Map(location=[moscow_lat, moscow_lng], zoom_start=9.3, tiles='Cartodb Positron',
       width=1000,height=400)
# создаём пустой кластер, добавляем его на карту
marker_cluster = MarkerCluster().add_to(m)

# пишем функцию, которая принимает строку датафрейма,
# создаёт маркер в текущей точке и добавляет его в кластер marker_cluster
def create_clusters(row):
    Marker(
        [row['lat'], row['lng']],
        popup=f"{row['name']} {row['rating']}",
    ).add_to(marker_cluster)

# применяем функцию create_clusters() к каждой строке датафрейма
coff_df.apply(create_clusters, axis=1)

# выводим карту
m

pts_per_distr

with open('/datasets/admin_level_geomap.geojson', 'r') as f:
    geo_json = json.load(f)

# загружаем JSON-файл с границами округов Москвы
state_geo = '/datasets/admin_level_geomap.geojson'
# moscow_lat - широта центра Москвы, moscow_lng - долгота центра Москвы
moscow_lat, moscow_lng = 55.751244, 37.618423

# создаём карту Москвы
m = Map(location=[moscow_lat, moscow_lng], zoom_start=9.3, tiles='Cartodb Positron',
       width=500,height=500)

# создаём хороплет с помощью конструктора Choropleth и добавляем его на карту
Choropleth(
    geo_data=state_geo,
    data=pts_per_distr,
    columns=['district', 'name'],
    key_on='feature.name',
    fill_color='YlOrBr',
    fill_opacity=0.8,
    legend_name='Количество кофеен по округам',
).add_to(m)

# выводим карту
m

print('Перечень округов по убыванию количества кофеен:', pts_per_distr.district.to_list())

print('Всего куглосуточных кофеен:', len(coff_df.query('is_24_7 == True')))

caf_rate = coff_df.groupby('district')['rating'].agg(['count','min', 'max','mean', 'median']).reset_index().sort_values(by= 'mean',ascending=False)
display(caf_rate)
print('Округи по убыванию рейтинга кофеен:', caf_rate.district.str.replace('административный округ','АО').to_list())